Bringing tabletop technologies to kindergarten children

Taking computer technology away from the desktop and into a more physical, manipulative space, is known that provide many benefits and is generally considered to result in a system that is easier to learn and more natural to use. This paper describes a design solution that allows kindergarten children to take the benefits of the new pedagogical possibilities that tangible interaction and tabletop technologies offer for manipulative learning. After analysis of children's cognitive and psychomotor skills, we have designed and tuned a prototype game that is suitable for children aged 3 to 4 years old. Our prototype uniquely combines low cost tangible interaction and tabletop technology with tutored learning. The design has been based on the observation of children using the technology, letting them freely play with the application during three play sessions. These observational sessions informed the design decisions for the game whilst also confirming the children's enjoyment of the prototype

The space journey game: An intergenerational pervasive experience

There is a need to re-design the entertainment systems for the older adults, incorporating the population of this age group into the digital culture. With this aim in mind this work presents an intergenerational experience carried out in an Interactive Space where tangible and gestures interaction are used to participate in pervasive gaming experiences. The experience makes use of a game initially designed just for children but in a very flexible way so that it can be tailored to different players'' characteristics. Family groups made up of one or two grandparents and one or two grandchildren have played together The Fantastic Journey fulfilling all the missions either on tangible tabletops, just moving around the space or interacting by gestures. The experience was positively valued by both age groups; they were indeed happy with the opportunity of playing together in a challenging game. Nevertheless, the difficulty of designing engaging experiences for both age groups points to a challenging research area

Facial Emotional Classifier For Natural Interaction

The recognition of emotional information is a key step toward giving computers the ability to interact more naturally and intelligently with people. We present a simple and computationally feasible method to perform automatic emotional classification of facial expressions. We propose the use of a set of characteristic facial points (that are part of the MPEG4 feature points) to extract relevant emotional information (basically five distances, presence of wrinkles in the eyebrow and mouth shape). The method defines and detects the six basic emotions (plus the neutral one) in terms of this information and has been fine-tuned with a database of more than 1500 images. The system has been integrated in a 3D engine for managing virtual characters, allowing the exploration of new forms of natural interaction

ABC-EBDI: A cognitive-affective framework to support the modeling of believable intelligent agents.

El Grupo de Investigación de Interfaces Avanzadas (AffectiveLab), es un grupo reconocido por el Gobierno de Aragón (T60-20R) cuya actividad se enmarca en el área de la Interacción Humano-Computadora (IHC). Su actividad investigadora se ha centrado, en los últimos años, en cuatro temas principales: interacción natural, informática afectiva, accesibilidad e interfaces basadas en agentes inteligentes, siendo esta última en la que se enmarca esta tesis doctoral. Más concretamente, la realización de esta tesis doctoral se enmarca dentro de los proyectos de investigación nacionales JUGUEMOS (TIN2015-67149-C3-1R) y PERGAMEX (RTI2018-096986-B-C31). Una de sus líneas de investigación se centra en el desarrollo de arquitecturas cognitivo-afectivas para apoyar el modelado afectivo de los agentes inteligentes. El AffectiveLab tiene una sólida experiencia en el uso de agentes de interfaz incorporados que exhiben expresiones afectivas corporales y faciales (Baldassarri et al., 2008). En los últimos años, se han centrado en el modelado del comportamiento de los agentes inteligentes (Pérez et al., 2017).La definición de agente inteligente es un tema controvertido, pero se puede decir que es una entidad autónoma que recibe información dinámica del entorno a través de sensores y actúa sobre el medio ambiente a través de actuadores, mostrando un comportamiento dirigido a un objetivo (Russell et al., 2003). El modelado de los procesos cognitivos en los agentes inteligentes se basa en diferentes teorías (Moore, 1980; Newell, 1994; Bratman, 1987) que explican, desde diferentes puntos de vista, el funcionamiento de la mente humana. Los agentes inteligentes implementados sobre la base de una teoría cognitiva se conocen como agentes cognitivos. Los más desarrollados son los que se basan en arquitecturas cognitivas, como Soar (Laird et al., 1987), ACT-R (Anderson, 1993) y BDI (Rao and Georgeff, 1995). Comparado con Soar y otras arquitecturas complejas, BDI se destaca por su simplicidad y versatilidad. BDI ofrece varias características que la hacen popular, como su capacidad para explicar el comportamiento del agente en cada momento, haciendo posible una interacción dinámica con el entorno. Debido a la creciente popularidad del marco BDI se ha utilizado para apoyar el modelado de agentes inteligentes (Larsen, 2019; (Cranefield and Dignum, 2019). En los últimos años, también han aparecido propuestas de BDI que integran aspectos afectivos. Los agentes inteligentes construidos en base a la arquitectura BDI que también incorporan capacidades afectivas, se conocen como agentes EBDI (Emotional BDI) y son el foco de esta tesis. El objetivo principal de esta tesis ha sido proponer un marco cognitivo-afectivo basado en el BDI que sustente el modelado cognitivo-afectivo de los agentes inteligentes. La finalidad es ser capaz de reproducir un comportamiento humano creíble en situaciones complejas donde el comportamiento humano es variado y bastante impredecible. El objetivo propuesto se ha logrado con éxito en los términos descritos a continuación:• Se ha elaborado un exhaustivo estado del arte relacionado con los modelos afectivos más utilizados para modelar los aspectos afectivos en los agentes inteligentes.• Se han estudiado las arquitecturas de BDI y las propuestas previas de EBDI. El estudio, que dio lugar a una publicación (Sánchez-López and Cerezo, 2019), permitió detectar las cuestiones abiertas en el área, y la necesidad de considerar todos los aspectos de la afectividad (emociones, estado de ánimo, personalidad) y su influencia en todas las etapas cognitivas. El marco resultante de este trabajo doctoral incluye también el modelado de la conducta y el comportamiento comunicativo, que no habían sido considerados hasta ahora en el modelado de los agentes inteligentes. Estos aspectos colocan al marco resultante entre EBDI los más avanzados de la literatura. • Se ha diseñado e implementado un marco basado en el BDI para soportar el modelado cognitivo, afectivo y conductual de los agentes inteligentes, denominado ABC-EBDI (Sanchez et al., 2020) (Sánchez et al., 2019). Se trata de la primera aplicación de un modelo psicológico muy conocido, el modelo ABC de Ellis, a la simulación de agentes inteligentes humanos realistas. Esta aplicación implica:o La ampliación del concepto de creencias. En el marco se consideran tres tipos de creencias: creencias básicas, creencias de contexto y comportamientos operantes. Las creencias básicas representan la información general que el agente tiene sobre sí mismo y el entorno. Las conductas operantes permiten modelar la conducta reactiva del agente a través de las conductas aprendidas. Las creencias de contexto, que se representan en forma de cogniciones frías y calientes, se procesan para clasificarlas en creencias irracionales y racionales siguiendo las ideas de Ellis. Es la consideración de creencias irracionales/racionales porque abre la puerta a la simulación de reacciones humanas realistas.o La posibilidad de gestionar de forma unificada las consecuencias de los acontecimientos en términos de consecuencias afectivas y de comportamiento (conducta). Las creencias de contexto racionales conducen a emociones funcionales y a una conducta adaptativa, mientras que las creencias de contexto irracionales conducen a emociones disfuncionales y a una conducta maladaptativa. Este carácter funcional/disfuncional de las emociones no se había utilizado nunca antes en el contexto del BDI. Además, el modelado conductual se ha ampliado con el modelado de estilos comunicativos, basado en el modelo Satir, tampoco aplicado previamente al modelado de agentes inteligentes. El modelo de Satir considera gestos corporales, expresiones faciales, voz, entonación y estructuras lingüísticas.• Se ha elegido un caso de uso, "I wish a had better news" para la aplicación del marco propuesto y se han realizado dos tipos de evaluaciones, por parte de expertos y de usuarios. La evaluación ha confirmado el gran potencial del marco propuesto para reproducir un comportamiento humano realista y creíble en situaciones complejas.<br /

AraBoard: A Multiplatform Alternative and Augmentative Communication Tool

AbstractWe present AraBoard: an Alternative and Augmentative Communication (AAC) tool developed to facilitate functional communication to people with complex communication needs. The tool is formed by two different applications: AraBoard Constructor, for the creation and edition of communication boards, and AraBoard Player, for the visualization of the boards previously generated. The main features that distinguish our tool are that it is multiplatform, it is low-cost, and it is highly configurable, adaptable to a wide range of users’ needs by modifying different parameters like the number and size of the cells, inclusion or not of audio, etc. The development has been assessed through 295 enquiries done via web. The answers have been analyzed and shown the high acceptance of the users

Toolkits for the Development of Hybrid Games: from Tangible Tabletops to Interactive Spaces

Durante los últimos años, los dispositivos tabletop han sido considerados el entorno ideal para los juegos híbridos, los cuales combinan técnicas de juego tradicional, como el uso de objetos físicos para interactuar con el juego de una forma natural, con las nuevas posibilidades que los tabletops ofrecen de aumentar el espacio de juego con imágenes digitales y audio.Sin embargo, los juegos híbridos no se restringen simplemente a tabletops, pudiéndose jugar también en entornos más amplios en los que convergen otros paradigmas de interacción. Por esta razón, el uso de juegos híbridos en Espacios Interactivos está ganando fuerza, pero el número y heterogeneidad de dispositivos y estilos de interacción que se encuentran en estos entornos hace que el diseño y prototipado de juegos sea una tarea difícil. Por lo tanto, el gran reto se encuentra en ofrecer a diseñadores y desarrolladores herramientas apropiadas para la creación de estas aplicaciones.En esta línea de trabajo, el grupo Affective Lab lanzó el proyecto JUGUEMOS (TIN2015-67149-C3-1R), un proyecto nacional centrado en el desarrollo de juegos híbridos en entornos interactivos. Esta Tesis Doctoral se enmarca en este proyecto.El primer paso de la realización de esta tesis fue establecer los dos objetivos principales (Capítulo 1):1) El primer objetivo que se estableció fue profundizar en el uso de tabletops tangibles en terapia con niños con necesidades especiales. Durante los últimos años el grupo Affective Lab había visto la potencialidad de los tabletops tangibles para el trabajo con niños pequeños, pero todavía era necesario llevar a cabo más experiencias y evaluaciones en el ámbito terapéutico, así como explorar si otros grupos de usuarios (adultos con problemas cognitivos) podían beneficiarse de las características de los tabletops.2) El segundo objetivo consistió en diseñar e implementar un toolkit para el desarrollo de juegos híbridos para espacios interactivos. Se decidió que el toolkit estuviera dirigido a desarrolladores para facilitar su trabajo a la hora de crear este tipo de aplicaciones.Una vez establecidos los objetivos, se realizó un estado del arte a su vez dividido en dos partes (Capítulo 2):1) Se realizó una categorización de juegos híbridos para entender y extraer sus principales características, así como los principales retos que surgen al desarrollar este tipo de juegos. También se estudiaron toolkits cuyo objetivo era el desarrollo de juegos híbridos.2) Se estudiaron juegos híbridos desarrollados para niños con necesidades especiales y adultos con problemas cognitivos que hacían uso de la Interacción Tangible y tabletops, así como toolkits dirigidos a terapeutas o educadores para ayudarles en la creación de actividades para sus pacientes.Para llevar a cabo las experiencias y evaluaciones relacionadas con el primer objetivo, se hizo uso del tabletop tangible NIKVision, desarrollado previamente por el grupo Affective Lab, y el toolkit KitVision, una herramienta dirigida a profesionales sin conocimientos de programación para la creación de actividades tangibles y que fue desarrollado durante el Proyecto Final de Carrera de la autora. En el Capítulo 3 de esta Tesis se comenta brevemente el tabletop NIKVision y la arquitectura de KitVision, se describen las evaluaciones que se llevaron a cabo con terapeutas con el objetivo de mejorar y probar la utilidad del toolkit, y se explica una experiencia de un año durante la cual una terapeuta ocupacional de ASAPME, una asociaciónque trabaja con adultos con problemas cognitivos, estuvo usando el tabletop y el toolkit sin supervisión.En el Capítulo 4 se describen diferentes experiencias con KitVision que se llevaron a cabo:- Gracias a una colaboración con la Residencia Romareda, NIKVision y KitVision fueron instalados provisionalmente en la residencia y, tras una evaluación inicial, se desarrollaron tres nuevas actividades para los usuarios de la residencia.- Gracias a la colaboración con ENMOvimienTO y con uno de los centros de Atención Temprana del Instituto Aragonés de Servicios Sociales (IASS), ambos enfocados a trabajar con niños con problemas de aprendizaje, se pudieron realizar evaluaciones que nos permitieron mejorar KitVision y crear nuevas actividades específicamente diseñadas para ellos.- Finalmente, gracias a una colaboración con Atenciona, pudimos evaluar actividades con niños con Trastorno por Déficit de Atención e Hiperactividad (TDAH) y extraer una serie de directrices para diseñar actividades para este tipo de niños. También pudimos llevar a cabo una experiencia de Diseño Participativo con estos niños.El completo desarrollo del toolkit JUGUEMOS, para la creación de juegos híbridos en espacios interactivos, se explica en el Capítulo 5. En este apartado primero se describe el Espacio Interactivo JUGUEMOS que sirvió de base para desarrollar el toolkit. Después se explican con detalle las decisiones de diseño que se tomaron, el modelo de abstracción que se usó para diseñar los juegos, y la arquitectura del toolkit. También se detallan las distintas fases de implementación que se llevaron a cabo, basadas en los tres retos que se extrajeron en el estado del arte: (1) integrar diferentes dispositivos, (2) gestionar salidas gráficas diversas y (3) facilitar la codificación del juego. Finalmente, se presentan dos prototipos de juegos que se desarrollaron durante las dos estancias de investigación que la autora realizó.Finalmente, en el Capítulo 6 se describen los tres casos de uso que se realizaron para tener una primera valoración de la usabilidad del toolkit JUGUEMOS: (1) una evaluación con estudiantes de Máster en la que se implementó un juego completamente funcional para el Espacio Interactivo JUGUEMOS, (2) un juego que fue completamente desarrollado usando el toolkit JUGUEMOS una vez que éste se acabó de implementar, (3) una experiencia que involucró a dos grupos multidisciplinares compuestos por diseñadores y desarrolladores, en la que tuvieron que colaborar para diseñar e implementar dos prototipos de juegos híbridos para el espacio interactivo.<br /

Desarrollando agentes EBDI

En este trabajo se presenta el framework ABC-EDBI para el modelado afectivo de agentes inteligentes con comorptamiento BDI (Belief, Desire, Intention). El mismo integra afecto (emociones, estado de &aacute;nimo y personalidad) y capacidades afectivas (regulaci&oacute;n del afecto), teniendo en cuenta la influencia de todos los aspectos afectivos en el proceso cognitivo del agente